Drag Your GAN
生成されたオブジェクトのポーズ、形状、表情、レイアウトを柔軟かつ正確に制御するための、GAN（敵対的生成ネットワーク）の柔軟性と精度の高い制御方法について調査しています。 本研究では、GANを制御するもう1つの強力であまり探求されていない方法を研究しています。それは、「ドラッグ」操作を使用して画像の任意のポイントをユーザーインタラクティブな方法で目標位置に正確に移動させることです。この目的を達成するために、DragGANという手法を提案しています。DragGANは、次の2つの主要なコンポーネントで構成されています： 1）特徴ベースのモーション教師あり学習により、ハンドルポイントを目標位置に移動させます。
2）新しいポイントトラッキング手法は、識別的な生成器の特徴を活用して、ハンドルポイントの位置を局所化し続けます。
DragGANを使用することで、誰でも画像を変形させることができ、ピクセルの移動先を正確に制御できるため、動物、車、人間、風景などの様々なカテゴリのポーズ、形状、表情、レイアウトを操作できます。これらの操作は、GANの学習された画像マニフォールド上で行われるため、オクルージョンされたコンテンツの復元や、オブジェクトの剛体性に一貫して従う形状の変形など、困難なシナリオでも現実的な出力を生成する傾向があります。定性的および定量的な比較により、DragGANが画像の操作とポイント追跡のタスクにおいて従来の手法に対して優位であることが示されています。また、GAN逆像化を通じて実際の画像の操作を紹介しています。
https://github.com/XingangPan/DragGAN/raw/main/DragGAN.gif
へ？ドラッグするだけでこんなに編集できるんかwogikaze.icon*4
https://gyazo.com/cee4f195dad7603841cae1f32f82fd17
これはUIの設定がうまいnomadoor.icon
GANの連続性とドラッグが綺麗に噛み合ってる
https://www.youtube.com/watch?v=oGGTC0Gmplw&list=PL1PdIP1lGMJLIquaYsNcORIv0Hrf-AeyJ&index=18
関連